Robbins sinh ra ở North Hollywood, California vào ngày 29 tháng 2 năm 1960.[6] Ông là con cả trong gia đình. Cha mẹ ly hôn khi ông mới 7 tuổi. Mẹ ông sau đó tái hôn nhiều lần, bao gồm cả cuộc hôn nhân với Jim Robbins, một cựu cầu thủ bóng chày bán chuyên nghiệp đã nhận nuôi Anthony khi ông 12 tuổi.[6]

Robbins chia sẻ rằng cuộc sống gia đình ông luôn tràn ngập sự "hỗn loạn" và "lạm dụng". Năm 17 tuổi, ông bỏ nhà ra đi và không bao giờ trở lại.[6] Robbins sau đó làm công việc dọn vệ sinh và không theo học đại học.[6]